层次 Softmax

概述

层次 Softmax（Hierarchical Softmax）是 Word2Vec 中的另一项关键技术优化，通过构建哈夫曼树来降低计算复杂度，提高训练效率。

关键内容

1. 解决问题：
2. 传统的 Softmax 需要计算整个词表的概率分母，计算复杂度为 O(V)

3. 层次 Softmax 通过哈夫曼树将复杂度降至 O(log V)

4. 工作原理：

5. 将词表构建成一棵哈夫曼树
6. 预测时只需从根节点走到对应的叶节点

7. 每次预测只需要约 log₂(V) 次计算，而不是 V 次

8. 优化效果：

9. 大幅降低计算复杂度
10. 特别适用于大词表的情况
11. 在某些场景下被负采样技术替代

来源

• paper_09_word2vec — Word2Vec 论文介绍

相关

• Word2Vec — 所属技术
• Skip-gram 模型 — 应用模型
• CBOW — 应用模型
• 负采样技术 — 对比技术
• NLP — 应用领域
• 哈夫曼树 — 依赖数据结构